# -*- coding: utf-8 -*-
"""
Created on Fri Jan 25 12:26:45 2019

@author: Administrator
"""

import torch
import matplotlib.pyplot as plt
#from torch.autograd import Variable as tav2 #自己的习惯
from torch.autograd import Variable
#import torch.nn.functional as tnf2 #自己的习惯
#import torch.nn.functional as F     # 少数激励函数在这

##############建立数据集####################
#torch.linspace（）建立了一维的数据组
#torch.unsqueeze（）把一维变成二维
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  # x data (tensor), shape=(100, 1)
print('x1:',x)
#x.pow(2)即x的平方
# 0.2*torch.rand(x.size())是一些噪点
y = x.pow(2) + 0.2*torch.rand(x.size())                 # noisy y data (tensor), shape=(100, 1)

'''神经网络只能传入variable，新版本已经可以直接传入张量了，不用转化为变量了'''
x,y = Variable(x),Variable(y)

# 画图
plt.scatter(x.data.numpy(), y.data.numpy())
plt.show()




###############建立神经网络################
'''官方步骤必须要有__init__()跟forward（），并且还要super(Net, self).__init__()来继承这些功能'''
'''__init__()用来配置，forward（）用来执行'''
class Net(torch.nn.Module):  # 继承 torch 的 Module
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__()     # 继承 __init__ 功能
        # 定义每层用什么样的形式
        #这里定义了一个隐藏层，然后直接跟着输出层
        #Linear注意首字母要大写
        self.hidden = torch.nn.Linear(n_feature, n_hidden)   # 隐藏层线性输出
        '''输出层的输入是隐藏层的输出即n_hidden'''
        self.predict = torch.nn.Linear(n_hidden, n_output)   # 输出层线性输出
        
    def forward(self, x):   # 这同时也是 Module 中的 forward 功能
        '''这里是神经网络的处理核心，真正对隐藏层进行处理的地方'''
        # 正向传播输入值, 神经网络分析出输出值
        x = torch.relu(self.hidden(x))      # 激励函数(隐藏层的线性值)
        '''一般处理输出层输出值时可以不用激活函数，因为一般情况下使用了会使取值出现截断处，即断点，不连续'''
        x = self.predict(x)             # 输出值
        return x

net = Net(n_feature=1, n_hidden=10, n_output=1) #1个输入，10个神经元，1个输出

print(net)  # net 的结构
"""
Net (
  (hidden): Linear (1 -> 10)
  (predict): Linear (10 -> 1)
)
"""



##############训练网络 #######
# optimizer优化器， 是训练的工具
#net.parameters()是上面定义的神经网络的所有参数
#lr是学习率，一般小于1，小一点效果会好一些，不过训练会慢一些
optimizer = torch.optim.SGD(net.parameters(), lr=0.2)  # 传入 net 的所有参数, 学习率
'''torch.nn.MSELoss()是均方差函数'''
loss_func = torch.nn.MSELoss()      # 预测值和真实值的误差计算公式 (均方差)

plt.ion()   # 画图
plt.show()
'''开始训练,训练200次'''
for t in range(200):
    prediction = net(x)     # 喂给 net 训练数据 x, 输出预测值
    
#    prediction和y的顺序要注意，位置不同，有时结果差别很大，一般预测在前实际在后
    loss = loss_func(prediction, y)     # 计算两者的误差

#    先把梯度降为0
    optimizer.zero_grad()   # 清空上一步的残余更新参数值
    '''反向传播后会重新计算梯度'''
    loss.backward()         # 误差反向传播, 计算参数更新值
    '''将新计算的梯度进行优化'''
    optimizer.step()        # 将参数更新值施加到 net 的 parameters 上
    
    '''可视化训练过程'''
    if t % 5 == 0:
        # plot and show learning process
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy())
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
        plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color':  'red'})
        plt.pause(0.1)








